Foundation models are redefining how AI systems are built. Practitioners now follow a standard procedure to build their machine learning solutions: download a copy of a foundation model, and fine-tune it using some in-house data about the target task of interest. Consequently, the Internet is swarmed by a handful of foundation models fine-tuned on many diverse tasks. Yet, these individual fine-tunings often lack strong generalization and exist in isolation without benefiting from each other. In our opinion, this is a missed opportunity, as these specialized models contain diverse features. Based on this insight, we propose model recycling, a simple strategy that leverages multiple fine-tunings of the same foundation model on diverse auxiliary tasks, and repurposes them as rich and diverse initializations for the target task. Specifically, model recycling fine-tunes in parallel each specialized model on the target task, and then averages the weights of all target fine-tunings into a final model. Empirically, we show that model recycling maximizes model diversity by benefiting from diverse auxiliary tasks, and achieves a new state of the art on the reference DomainBed benchmark for out-of-distribution generalization. Looking forward, model recycling is a contribution to the emerging paradigm of updatable machine learning where, akin to open-source software development, the community collaborates to incrementally and reliably update machine learning models.

We introduce submodel co-training, a regularization method related to co-training, self-distillation and stochastic depth. Given a neural network to be trained, for each sample we implicitly instantiate two altered networks, ``submodels'', with stochastic depth: we activate only a subset of the layers. Each network serves as a soft teacher to the other, by providing a loss that complements the regular loss provided by the one-hot label. Our approach, dubbed cosub, uses a single set of weights, and does not involve a pre-trained external model or temporal averaging. Experimentally, we show that submodel co-training is effective to train backbones for recognition tasks such as image classification and semantic segmentation. Our approach is compatible with multiple architectures, including RegNet, ViT, PiT, XCiT, Swin and ConvNext. Our training strategy improves their results in comparable settings. For instance, a ViT-B pretrained with cosub on ImageNet-21k obtains 87.4% top-1 acc. @448 on ImageNet-val.

Vision-Language Pretraining (VLP) and Foundation models have been the go-to recipe for achieving SoTA performance on general benchmarks. However, leveraging these powerful techniques for more complex vision-language tasks, such as cooking applications, with more structured input data, is still little investigated. In this work, we propose to leverage these techniques for structured-text based computational cuisine tasks. Our strategy, dubbed VLPCook (Structured Vision-Language Pretraining for Computational Cooking), first transforms existing image-text pairs to image and structured-text pairs. This allows to pretrain our VLPCook model using VLP objectives adapted to the strutured data of the resulting datasets, then finetuning it on downstream computational cooking tasks. During finetuning, we also enrich the visual encoder, leveraging pretrained foundation models (e.g. CLIP) to provide local and global textual context. VLPCook outperforms current SoTA by a significant margin (+3.3 Recall@1 absolute improvement) on the task of Cross-Modal Food Retrieval on the large Recipe1M dataset. Finally, we conduct further experiments on VLP to validate their importance, especially on the Recipe1M+ dataset. The code will be made publicly available.

远见和语言预测已成为解决多模式下游任务的普遍方法。当前的趋势是朝着更大的模型和预处理数据集迈进。从长远来看，这一计算头急促似乎是不合理的，而是朝着可持续的解决方案迈进，事实上，排除了资源有限的学术实验室。在这项工作中，我们提出了一个称为VICHA的新框架，该框架有效利用输入数据以通过以下方式提高学习，以： ，（c）利用图像级注释，称为视觉概念，使用现有基础模型（例如剪辑）获得，以提高图像编码器的性能。尽管对数据的预估计少了四倍，但我们的VICHA策略在下游任务（例如图像文本检索，VQA，视觉推理，视觉上和视觉接地）上的其他方法优于其他方法。该代码将在此处公开提供：https：//github.com/mshukor/vicha

最先进的计算机视觉方法的性能飞跃归因于深度神经网络的发展。但是，它通常以计算价格可能会阻碍其部署。为了减轻这种限制，结构化修剪是一种众所周知的技术，它包括去除通道，神经元或过滤器，并且通常用于生产更紧凑的模型。在大多数情况下，根据相对重要性标准选择要删除的计算。同时，对可解释的预测模型的需求极大地增加了，并激发了强大归因方法的发展，该方法突出了输入图像或特征图的像素的相对重要性。在这项工作中，我们讨论了现有的修剪启发式方法的局限性，其中包括基于梯度和基于梯度的方法。我们从归因方法中汲取灵感来设计一种新型的集成梯度修剪标准，其中每个神经元的相关性被定义为梯度变化在通往这种神经元去除的路径上的积分。此外，我们提出了一个纠缠的DNN修剪和微调流程图，以更好地保留DNN准确性，同时删除参数。我们通过在几个数据集，架构以及修剪场景上进行广泛的验证，该方法称为Singe，大大优于现有的最新DNN修剪方法。

自主驾驶的最新作品已广泛采用了鸟眼视图（BEV）语义图作为世界的中间表示。这些BEV地图的在线预测涉及非平凡操作，例如多摄像机数据提取以及融合和投影到常见的顶级网格中。这通常是通过易易错的几何操作（例如，单眼深度估计的同构图或反射）或BEV中图像像素和像素（例如，具有MLP或注意力）之间的昂贵直接密集映射来完成。在这项工作中，我们提出了“ Lara”，这是一种有效的编码器编码器，基于变压器的模型，用于从多个摄像机中进行车辆语义分割。我们的方法使用交叉注意的系统将信息通过多个传感器汇总为紧凑而丰富的潜在表示。这些潜在的表示在通过一系列自我发场块处理后，在BEV空间中进行了第二次交叉注意。我们证明，我们的模型在Nuscenes上的表现优于使用变压器的最佳先前作品。

我们展示了如何通过基于关注的全球地图扩充任何卷积网络，以实现非本地推理。我们通过基于关注的聚合层替换为单个变压器块的最终平均池，重量贴片如何参与分类决策。我们使用2个参数（宽度和深度）使用简单的补丁卷积网络，使用简单的补丁的卷积网络插入学习的聚合层。与金字塔设计相比，该架构系列在所有层上维护输入补丁分辨率。它在准确性和复杂性之间产生了令人惊讶的竞争权衡，特别是在记忆消耗方面，如我们在各种计算机视觉任务所示：对象分类，图像分割和检测的实验所示。

随着生成对冲网络（GANS）的快速进步，综合场景的视觉质量不断改进，包括复杂的城市场景，其中包含自动驾驶的应用。我们在这项工作中解决了一个持续的场景生成设置，其中GAN在不同的域流上培训;理想情况下，学习的模型最终应该能够在所有看到的域中生成新场景。此设置反映了现实生活场景，其中数据在不同时间的不同地方不断获取。在这种持续的设置中，我们的目标是学习零遗忘，即，由于灾难性的遗忘，在早期域内没有综合质量下降。为此，我们介绍了一种新颖的框架，不仅（i）可以在持续培训中实现无缝知识转移，而且（ii）还能以小的开销成本保证零遗忘。虽然更加内存有效，但由于继续学习，我们的模型比较每个域为一个完整模型的蛮力解决方案比较了更好的合成质量。特别是，在极端的低数据制度下，我们的方法通过大幅度大幅优于蛮力。

潜在文本表示展示了几何规律，如着名的类比：女王是王的女人是男人。在图像表示上没有证明这种结构化语义关系。最近的作品，旨在将该语义差距缩短嵌入图像和文本到多峰空间，使传送文本定义的变换传输到图像模态。我们介绍SIMAT数据集以评估文本驱动图像变换的任务。 SIMAT包含6K图像和18K“转换查询”，其瞄准替换场景元素或更改其成对关系。目标是检索与（源图像，转换）查询一致的图像。我们使用匹配Oracle（OSCAR）的图像/文本来评估图像转换是否成功。 SIMAT DataSet将被公开可用。我们使用SIMAT来表明Vanilla Clip MultimoDal Embeddings不太适合文本驱动的图像转换，但Coco DataSet上的简单FineTuning可以带来戏剧性的改进。我们还研究利用普雷雷普雷普明的通用句子编码器（FastText，Lable和Labse）的几何特性是有益的。

深网络架构在不忘记以前的任务的情况下努力继续学习新任务。最近的趋势表明，基于参数扩展的动态架构可以在持续学习中有效地减少灾难性忘记。但是，现有方法通常需要在测试时需要任务标识符，需要复杂调整以平衡越来越多的参数，并且几乎不在任务中共享任何信息。结果，他们努力扩展到大量任务，而无需显着开销。在本文中，我们提出了一种基于专用编码器/解码器框架的变压器体系结构。批判性地，编码器和解码器在所有任务中共享。通过特殊令牌的动态扩展，我们专注于任务分发的解码器网络的各个向前。由于严格控制参数扩展，我们的策略缩小到大量任务，同时具有可忽略的内存和时间开销。此外，这种有效的策略不需要任何HyperParameter调整来控制网络的扩展。我们的模型在大型ImageNet100和ImageNet100上达到了Cifar100和最先进的表演，而参数比并发动态框架的参数越小。